More Criticism Does Not Make a Better Review: EquiReview-R
批评更多不等于评审更好:EquiReview-R
🧭 AI 辅助评审 · 证据引导精炼
College of Systems Engineering, National University of Defense Technology
将 AI 审稿建模为证据引导的结构化问题集精炼,分离遗漏与过度批评,显著降低过度批评并控制遗漏风险
📌 工作参考价值(4 点)
- 将生成式任务(如推荐理由、商品亮点总结、搜索 query 推荐)重构为「结构化 concern set 精炼」:先校验已有候选点是否有证据支撑(降低 overcritique/幻觉),再从独立视角补充缺失点(降低遗漏),最后输出 stop/continue/defer 决定是否继续推理或转人工。
- 证据定位与 provenance:为每个 claim 绑定具体文档片段或用户行为证据,无法定位的候选点直接标记为不充分,可复用到 RAG 式推荐文案生成,减少无依据描述。
- 设置 stop/defer 机制:用 selective risk control 对 omission/overcritique 分别设定容忍上限,达到阈值即停止迭代或转人工审核,避免 Agent 过度调用 LLM 增加成本。
- 评估指标分离:不要只看 overall score,把「漏了重要点」和「说了没证据的话」分开度量,这在评估推荐理由、客服回答、商品描述质量时更利于定位问题。